Open brief aan de ticketbestellers van het Madonnaconcert

Zaterdagochtend omstreeks 9 uur ging de ticketverkoop van start voor het allereerste concert van Madonna in België. De ticketverkoop verliep via Proximus Go For Music en werd technische gerealiseerd door Tele Ticket Service. Deze combinatie heeft in het verleden bewezen dat ze goed werkt. Via Tele Ticket Service worden er op jaarbasis meer dan 2 miljoen tickets voor allerlei concerten en evenementen aan de man/vrouw gebracht. Ook piekverkopen kunnen via deze combinatie vlotjes worden afgehandeld : in oktober vorig jaar werd bijvoorbeeld de kaartverkoop van de concerten van AC/DC en Metallica op een technisch onberispelijke manier afgewerkt. Op minder dan een uur tijd werden voor deze concerten alle tickets voor het Sportpaleis toegewezen. De servercapaciteit van Tele Ticket Service is berekend op het boeken van 16.000 plaatsen per uur. Het gaat bij het reserveren niet alleen over het noteren van een bestelling maar bijvoorbeeld ook over het afhandelen van betalingsmethoden en de controle over het feit of een klant al dan niet eerder bestelde, afhankelijk van de afspraken met de organisator. Het verwerken is een complexere materie dan op het eerste zicht lijkt.Een ticketingprogramma evolueert voortdurend. Er komen telkens nieuwe toepassingen (bv werd twee jaar geleden de methodiek van barcodes ingevoerd, waardoor tickets op de zwarte markt kunnen worden opgespoord en de toegang kan worden geweigerd) waardoor de software regelmatig dient te worden aangepast. Hetzelfde geldt ook in verband met de terecht steeds stijgende beveiligingsvereisten voor de verwerking van credit card betalingen en elektronisch betaalverkeer. Tele Ticket Service heeft in dat kader recent extra encryptietechnieken toegevoegd aan zijn websites. Omdat deze encryptie een bijkomende belasting van de webservers betekent, werd geïnvesteerd in een veel krachtiger serverplatform en draait de toepassing nu op een mainframe systeem.Met het oog op de verkoop van Madonna waren we niet over één nacht ijs gegaan. Er was de verwachting dat er een enorme vraag naar tickets zou zijn en alle zeilen werden bijgezet. De capaciteit van 16.000 tickets per uur werd door alle betrokkenen als aanvaardbaar beschouwd : het zou betekenen dat in geval van voldoende vraag het concert op een termijn van vier uur zou uitverkopen.Maar dat liep helaas even anders ... Voor de verkoop van Madonna heeft de website van Proximus Go For Music en Tele Ticket Service een nooit gezien aantal simultane bestelpogingen te verwerken gekregen. Tickets bestellen kon via drie kanalen. Bestellingen via het SMS kanaal (waarvoor vooraf via de website van Proximus Go For Music moest worden geregistreerd) verliepen redelijk normaal : alle bestellingen werden daar binnen een aanvaardbare tijd afgehandeld. Ook de telefonische bestellingen via het nummer 0900 2 60 60 kwamen vlotjes door. De verwerking hiervan gebeurt via de Ring Ring Company en dat telefonie systeem communiceert met de Tele Ticket Service software voor het registreren van de bestelling. Er waren 90 exclusieve lijnen voorzien. Het derde en doorgaans meest gebruikte bestelkanaal is het internet. En helaas liep het daar mis. Meteen bij het openstellen van de ticketverkoop werd vastgesteld dat de verwerking absoluut niet de snelheid haalde die we van het systeem mochten verwachten. De techniekers – die stand-by stonden – zijn meteen koortsachtig op zoek gegaan naar de oorzaak van het probleem. Dat is een complexe materie, vooral omdat het zoekproces op het systeem gehinderd wordt door de tsunami van aanvragen via het internet. Rond 11 uur was de oorzaak van het probleem gelokaliseerd : de software van één van de nieuwe encryptiemodules bleek niet bestand tegen zoveel gelijktijdige aanvragen. Het vastlopen van dit proces veroorzaakte een domino-effekt op de rest van de servers waardoor de verwerkingscapaciteit van vooral bestellingen via internet drastisch daalde.De verwerking van bestellingen via de drie kanalen is nooit volledig stilgevallen, doch waar normaal in piek 16.000 tickets per uur gereserveerd worden, werd nu slechts een zeldzame piek tot 7.000 tickets per uur gehaald. De vertraagde verwerking resulteerde bij de gebruikers in frequente foutmeldingen in de browser en in sommige gevallen ook tot het afbreken van het bestelproces bij telefonische oproepen.Omdat de verwerking van de SMS bestellingen intussen voorbij was en de telefonische boekingen er redelijk goed doorkwamen werd meteen bij Ring Ring verzocht om het aantal gelijktijdige lijnen via het telefoonkanaal te verhogen van 90 naar 150.Intussen werkte het technisch team van Tele Ticket Service met man en macht aan een oplossing. Om de beveiliging van het elektronisch betaalverkeer in die tussentijd nooit te compromitteren, werd er wel voor geopteerd om de verhoogde encryptie niet af te zetten : we achtten de veiligheid van deze informatie prioritair, ook al betekende zulks op dat moment een veel tragere verwerking van de internetbestellingen. Het heeft echter toch tot ongeveer 15.00 uur geduurd voor er een goed werkende oplossing gevonden werd. De falende encryptiemodule werd vervangen door een nieuwere versie die nadien probleemloos de verdere verkoop van het concert van Madonna verwerkt heeft. Niet veel later verlaagde de druk op de telefonische en internet bestelkanalen en kon het systeem normaal werken. Uiteindelijk was het concert uitverkocht omstreeks 22.00 uur en werd een wachtlijst voor het opvullen van vrijkomende plaatsen (door bv onbetaalde reservaties) geopend.[b]Onderzoek heeft volgende cijfers opgeleverd :[/b]- Er werden gisteren 1.338.299 pagehits geregistreerd op de websites van TTS en GFM- Met betrekking tot de belasting van onze webservers noteerden we een piek van bijna 2,5 Mb/sec, wat ontzettend hoog is en een idee geeft over de belasting van het netwerk- Om 16.30 uur waren ondanks de problemen toch al 41.000 tickets toegewezen, om 22.00 uur was het concert uitverkocht- Finaal werden er 11,5 % tickets toegewezen via bestellingen langs het SMS kanaal, 41,5 % via de telefoon en een saldo van 47 % via het internet. In de periode van 15.00 tot 22.00 uur waren deze cijfers respectievelijk 1 %, 34 % en 65 %, wat een normale verdeling is.Het management en technisch team van Tele Ticket Service heeft na het oplossen van het probleem bij elkaar gezeten om de verantwoordelijkheid voor deze situatie te onderzoeken en te bekijken of dit had kunnen vermeden worden. Ze zijn tot de vaststelling gekomen dat het probleem van de encryptie en het daaruit voorvloeiende domino-effect zich maar kon manifesteren bij een drukte zoals we die op zaterdagochtend hebben meegemaakt. Deze drukte valt op geen enkele haalbare manier te simuleren. Er is vervolgens op een adequate manier met het probleem omgegaan en er is in het zoeken naar oplossingen uitgegaan van het behoud van maximale veiligheid voor de bestellers van tickets.Het mag echter duidelijk zijn dat Tele Ticket Service een verantwoordelijkheid draagt voor de vertragende werking van de ticketverkoop van het Madonna concert. We hebben in het verleden al knappe verkopen gerealiseerd en zijn geen klein beetje trots op de manier waarop we werken, maar deze keer moeten we erkennen dat we gedeeltelijk gefaald hebben. Daar waar het concert in 4 uur tijd had kunnen uitverkopen, hebben technische moeilijkheden er voor gezorgd dat het 13 uur geduurd heeft. Op een bepaalde manier zijn we blij dat ondanks deze ongeziene drukte onze software is blijven werken én dat we de kans kregen om ze te fine-tunen voor zo'n situaties. Die kans krijgen we zelden maar heeft ons nu gewapend voor de komende uitdagingen (waaronder maar niet alleen de start van de ticketverkoop voor Rock Werchter).Maar het is niet meer dan passend dat we ons uitgebreid en gemeend willen verontschuldigen voor de ongetwijfeld behoorlijke frustratie waaraan veel ticketbestellers gisteren ten prooi zullen zijn gevallen door het traag werken van ons systeem. Diezelfde verontschuldiging zijn ook van toepassing tegenover onze partner Proximus Go For Music en organisator Live Nation. We zijn er echter evengoed van overtuigd dat, ondanks de moeilijkheden die we met deze ticketverkoop gekend hebben, het voor de 65.000 toeschouwers de moeite waard zal zijn geweest : Madonna zal ongetwijfeld hét concert van het jaar afleveren.